相同轨迹，不同知识：面向搜索 Agent 的信息状态感知 On-Policy 蒸馏
🧭 搜索 Agent 的 on-policy 蒸馏与过程监督 ★ 深度解读
Beijing Institute of Technology · Huawei
提出 ISA-Distill，按学生状态的事实可恢复性加权 fact-use 与 evidence-seeking 双视图反馈，纠正 teacher 特权信息偏差
📌 工作参考价值（4 点）
- 在电商搜索/推荐 Agent 的 RL 过程监督中，不要把 gold answer 或完整 evidence 直接塞给 teacher；可增加一个“学生侧事实可恢复性”估计：用 frozen policy 对 value-masked probe 采样 32 次，算 mean token NLL，再校准为 k∈[0,1]。按 k 加权“已知事实利用”和“缺失证据获取”两个 teacher 视图，训练期仅增加约 4.3% 开销，就能缓解多跳商品问答中的 search 不足与过早作答。
- 对多跳商品属性问答、活动规则查询、商品对比/导购等任务，可按 recoverability 动态分配 search budget：事实已知时少搜，事实缺失时多搜；论文经验是单跳调用 -7.21%、多跳 +2.94%，整体 calls 更省且准确率提升。
- 过程监督无需覆盖全轨迹 token：只对 <search> tag + query、<conclusion> tag + factual assertion 等关键 span 做有界 local correction，监督 token 仅约 11.32% 也能获得稳定提升，适合预算受限的在线训练链路。
- 若发现蒸馏后的推荐/搜索 Agent 搜索次数不足或过早停止，可做 paired evidence utility 诊断：给 teacher 加 gold fact，观察其对 search token score 的变化；positive-utility search 被大幅降分即存在 information-state mismatch，可引入 recoverability-aware 修正。
同运不同择：面向智能体强化学习的孪生世界信用分配
🧭 Agent RL 训练 · 反事实信用分配 ★ 深度解读
University of Sheffield · Carnegie Mellon University · University of Michigan
共享 Gumbel 噪声的孪生世界实现 turn 级反事实信用分配，方差降为 1−ρ 倍，7 个 QA 基准平均提升 5.3/4.5 点 EM
📌 工作参考价值（4 点）
- 在 LLM Agent 或多轮交互推荐中，固定检索/工具/打分等确定性组件，引入 keyed Gumbel noise 做 counterfactual rollout，评估某个 query 改写、工具调用或推荐 action 的增量收益；twin 共享下游噪声可把方差降为 (1−ρ) 倍，以更少样本判定方向。
- 预算分配采用「predicted discordance / cost」平方根规则：对分歧大且便宜的决策多分 twin，对必成功/必失败的 prompt/trajectory 少分；实际可用 logistic 模型预测分歧概率，配合 Horvitz-Thompson 加权保持无偏。
- 信用回传可组合：token-level advantage = trajectory-level GRPO advantage + 标准化 twin credit（A_t = A_traj + ω Â_t/σ̂），简单有效；在电商搜索 Agent 中可将最终成交/点击奖励回传给关键 query、是否继续搜索、最终回答等 action，减少好决策被失败 episode 误罚。
- 工程上 keyed noise 作为 logits processor 开销约 2%；self-twin 和 same-evidence shortcut 能省大量 auxiliary tokens；注意 live web/stateful API 需缓存或替换为确定性版本，否则耦合减弱但无偏性仍保留。
PPLX-Embed-V2-Late：0.6B/9B 多模态后期交互检索模型
🧭 多模态 late-interaction 检索蒸馏 ★ 深度解读
Perplexity AI
用 18B 教师表征蒸馏出 0.6B/9B 多模态 late-interaction 模型，支持大模型离线建库、小模型在线查询的共享向量空间
📌 工作参考价值（4 点）
- 非对称部署：用 9B 离线索引商品/文档/图片，0.6B 在线编码 query；报告显示 0.6B query + 9B doc 比纯 0.6B 平均 nDCG@10 高 1.6pp，query 延迟不变，适合电商大规模商品库和低延迟搜索。
- 表征蒸馏优于直接 contrastive：训练小 late-interaction 模型时，直接拟合 18B 教师的 token 级 L2 归一化表征，比单独对比学习更稳，尤其 <1B 模型；业务里想压缩强检索模型可以优先考虑这种 pointwise distillation。
- 128 维多向量是低成本选择：在视觉文档检索上，0.6B 128 维 multi-vector 超过同尺寸 0.8B 模型 3.3pp；相比 4096 维 dense，存储和 ANN 成本显著降低，适合电商图片搜索、商品详情页截图检索。
- 训练工程 trick：用 gradient caching + 自定义 Triton MaxSim kernel 支持 16,384 对比 batch；quasi-random golden-ratio Kronecker 采样保证多个子数据集比例稳定且均匀出现，可复用到多源商品/query 数据混合。
Project Greenhouse：构建完全开放与主权的智能体搜索重排模型
🧭 开放主权 agentic search 重排 ★ 深度解读
University of Waterloo
用从零预训练+SFT 的 3B 点式重排模型，以少量 GPU 实现不依赖第三方权重的开放主权检索重排
📌 工作参考价值（4 点）
- 可复用训练配方：3B decoder-only 模型从通用语料（ClimbMix）从零预训练，再用公开相关性标注（RLHN-250K）做 LCE 点式微调，即可逼近/超过同量级 fine-tuned listwise/pointwise 重排器；电商/广告团队可照搬到商品/广告候选重排，避免依赖 Qwen/Gemma 等第三方权重带来的 license 与合规风险。
- 工程集成简单：点式重排把 query-doc 对映射为标量分数，候选独立打分、排序；相比 listwise 更适合局部候选集（如召回 top100）和线上并行，3B 可单 GPU 部署，适合 agent 搜索循环中对抓取/召回结果做优先级筛选。
- 模型 soup 提升稳定性：同一 SFT recipe 多次训练后平均权重作为最终 checkpoint，降低单次波动；在业务迭代中可用少量多次微调再平均来提升线上指标稳定性。
- 重排器可当 relevance judge/奖励信号：其标定后的分数可作为 RAG/agent 搜索中的相关性校验、强化学习 reward 或 rollout verifier，与 LLM 生成/重排组件解耦。
ZGCM-1：面向数学与智能体搜索的全开源高效基础模型
🧭 高效训练 · Agentic Search ★ 深度解读
Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence
全开源 7B 模型，靠混合注意力、FP8/Muon 与 MDP 中训，在数学和 Agentic Search 上逼近大模型
📌 工作参考价值（5 点）
- 混合注意力 5:1 SWA/global 可在 256K 上下文将 KV cache 降 6.4x、吞吐提升 3.94x：适合电商多轮对话、长用户行为序列或长文档检索场景，用 7B 级模型支撑长上下文 Agent 而不过度消耗显存。
- 把交互轨迹改写为 MDP 状态-动作对做稠密监督，比整段模仿学习更利于训练 Agent 在搜索/推荐中做局部决策（如何时调用搜索、扩展 query、停止迭代）；可直接复用到电商导购 Agent 的工具调用数据构造。
- FP8+Muon+TWEO 组合实现约 4.2x pre-training time-to-loss，内部迭代模型可行；尤其 TWEO 抑制激活 outlier 是 FP8 稳定的关键，可在训练栈中尝试。
- SFT 数据质量裁剪：约剪掉一半候选，六基准均值 67.78→68.83，证明高质量数据胜于堆量；对电商话术/导购数据可借鉴严格去污和分层过滤。
- Agent 数据与 general 数据联合训练优于先 general 后 agentic 或只 agentic：对话式购物助手不应只用领域轨迹，需保留通用指令遵循能力。
将 BrowseComp-Plus 投影到 ClimbMix：构建更真实的智能搜索评估语料
🧭 Agentic search 评估 · 语料投影
University of Waterloo
提出数据集无关的投影流水线，把 BrowseComp-Plus 问题证据迁移到 553M 文档的 ClimbMix，得到 57 个高置信评估样本
📌 工作参考价值（4 点）
- 构建离线评估集时，如果现有语料规模小且由 benchmark 自身支持文档和 hard negatives 组成，可以用投影 pipeline 把问题映射到大规模通用语料，再用自动验证+独立 agent+人工复核筛出证据完整的样本，避免评测泄漏和检索难度失真。
- 原子 reasoning hop 分解 + 逐 hop 证据定位的流程可以直接迁移到 RAG 或搜索 Agent 的训练/评测数据清洗，确保每个推理步骤都有对应文档支撑，减少幻觉式回答。
- 检索质量是 agentic search 的瓶颈：即使最终答案准确率只降 5 个点，evidence recall 从 84.3% 跌到 21.4% 说明检索侧严重不足。业务中应把 evidence recall 作为独立监控指标，与下游任务指标解耦。
- 发布的 projection pipeline 和 benchmark 可作为固定语料评估的模板，适合需要分离 Agent 推理能力与检索器能力的场景，例如电商搜索、推荐理由生成、客服 Agent 评测。
超越并行采样：智能搜索代理的多样化查询初始化
🧭 Agent 搜索 · 查询多样化 ★ 深度解读
Carnegie Mellon University · Instituto Superior Técnico · INESC-ID · NOVA LINCS · NOVA School of Science and Technology
提出训练无关的首轮查询多样化方法 DivInit，通过 MMR 从生成池中选择多样性查询，解决并行搜索代理的锚定坍缩问题。
📌 工作参考价值（4 点）
- 在 Agent 搜索或对话式购物助手中，首轮生成的查询多样性对后续检索路径影响巨大；可将多路独立生成改为单次生成候选池 + MMR 选择，避免锚定坍缩，提升并行采样的有效性。
- 方法无需训练、即插即用，只需修改推理时的首轮查询生成逻辑，且总 LLM 调用次数从 kT 降至 1+k(T-1)，在中小模型上可降低延迟和成本。
- 消融表明首轮多样性已足够维持轨迹分离，后续轮次无需额外干预，简化工程实现。
- 对于电商搜索中的 Agent 多轮交互，可主动设计首轮查询覆盖不同维度（品牌、价格、功能等），提高最终找到满意商品或信息的概率。
面向 Agentic 搜索构建可交互的检索工作区
🧭 Agentic Search · 检索交互界面设计 ★ 深度解读
将检索角色从片段选择重构为构建代理可通过 shell 工具探索的交互空间，显著降低 agentic 搜索成本并保持稳定性
📌 工作参考价值（4 点）
- 工作区边界代替全量扫描：用 BM25 多查询并集构建问题相关的文件工作区，代理只在该区内执行 grep/read，避免全库扫描，在 1M 语料下精度稳定 (81%) 而纯 DCI 退化到 60%。可直接用于电商搜索代理的场景，如将商品召回列表作为可交互的文件系统，代理用 bash 类工具精细化筛选。
- 离线目录索引降低阅读成本：对文档生成行号目录，代理可跳转到相关段落，避免通读全文。这种轻量预处理（$0.0014/文档）可迁移到电商知识库或商品详情页，让 Agent 快速定位关键信息。
- 多查询并集提升召回：代理一次性下发多个互补子查询，BM25 召回并集作为工作区，既提高覆盖又不增加代理上下文窗口负担。可用于电商长尾查询的意图分解与召回增强。
- 明确的检索输出接口设计：RISE 分离了工作区构建（检索）与验证（shell），可借鉴到生成式推荐的交互设计中，例如将召回物品集合作为 agent 的“玩具沙盘”，供其跨会话操作，而非仅读片段。